🧩 Фишка: 8 типов AI-моделей, которые стоит знать

Не весь искусственный интеллект — это ChatGPT.
Сегодня в ИИ-экосистеме используются разные архитектуры, и каждая заточена под конкретный тип задач.

Вот ключевые типы моделей и для чего они подходят:

🔎 «LLM» — Large Language Models
Большие языковые модели.
🟡 Что делают: генерируют текст, отвечают на вопросы, пишут статьи, резюмируют.
✅ Примеры: GPT-4, Claude, Gemini, LLaMA.

🔎 «LCM» — Latent Concept Models
Модели скрытых концептов.
🟡 Что делают: находят глубокие зависимости и «смыслы» в данных, которые не видны напрямую.
✅ Применение: интерпретация решений моделей, выявление причин/паттернов в данных (например, в медицине или финансах).

🔎 «LAM» — Language Action Models
Модели языка и действий.
🟡 Что делают: понимают инструкции на естественном языке и сразу выполняют действия (например, бронируют, пересылают, настраивают).
✅ Применение: агенты, автоматизация процессов, управление интерфейсами.

🔎 «MoE» — Mixture of Experts
Модель со множеством «экспертов» внутри.
🟡 Что делают: на каждый запрос активируют только нужную часть модели — эффективнее и быстрее.
✅ Применение: масштабируемые модели без потери качества. Используется в Gemini и Switch Transformer.

🔎 «VLM» — Vision-Language Models
Мультимодальные модели (изображения + текст).
🟡 Что делают: интерпретируют визуальную информацию вместе с текстовой.
✅ Примеры: GPT-4V, Gemini, Kosmos, LLaVA.
✅ Задачи: подписи к изображениям, визуальный поиск, анализ UI, документация.

🔎 «SLM» — Small Language Models
Компактные языковые модели.
🟡 Что делают: быстрее, легче, дешевле. Жертвуют масштабом ради скорости и автономности.
✅ Примеры: Mistral 7B, Phi-2, TinyLLaMA.
✅ Используются в мобильных, edge- и офлайн-устройствах.

🔎 «MLM» — Masked Language Models
Обучение на «пропусках» (масках).
🟡 Что делают: предсказывают скрытые слова → улучшают понимание контекста.
✅ Примеры: BERT, RoBERTa.
✅ Идеальны для классификации, поиска, исправления текста.

🔎 «SAM» — Segment Anything Model
Модель «укажи — и вырежу».
🟡 Что делает: сегментирует любой объект на изображении по клику.
✅ Пример: SAM от Meta.
✅ Применение: дизайн, медицина, роботика, редактирование изображений.

Библиотека дата-сайентиста #буст

🧱 От модели к продукту: инженерная сторона ML в продакшене

Многие думают, что ML = модель.
На деле — модель = лишь 5–10% всей ML-системы.

📍 Как обрабатывать фичи в real-time?
📍 Как хранить версии данных и моделей?
📍 Где тонко рвётся пайплайн в проде?
📍 Что нужно для стабильного inference на высоких нагрузках?

Мы разобрали:
— основные компоненты бэкенда для ML-систем
— типовые архитектурные схемы
— частые ошибки в продакшене
— лучшие практики из MLOps и data engineering

📖 Читайте статью:
«Бэкенд под ML-проекты: особенности архитектуры и типичные узкие места»
→ https://proglib.io/sh/xCfXt2pH4j

Библиотека дата-сайентиста #буст

✈️ Свежие новости из мира AI и Data Science

🔥 Модели, релизы и технологии:
— BAGEL от ByteDance — мультимодальная open-source модель: текст, изображение и всё вместе
— Mistral Agents API — новый API для сборки AI-агентов: просто, мощно, гибко
— FlowTSE — извлекает голос нужного спикера из шумной записи с несколькими говорящими

🧠 Статьи, исследования и лучшие практики:
— Мэтчинг по-научному — алгоритм подбора работодателей и кандидатов от Авито
— Python и древние фрески — цифровая реставрация с помощью ML
— Новая маршрутизация от Яндекса — алгоритмы для пешеходов и велосипедистов
— Редактор от Сбера — точечное редактирование изображений словами

📘 Обучение и развитие:
— Установка драйверов NVIDIA — полезная шпаргалка для ML-серверов
— CV/ML-проект с нуля до продакшена — практическое руководство
— Yambda от Яндекса — крупнейший датасет для развития рекомендательных систем

Библиотека дата-сайентиста #свежак

💫 Топ-вакансий для дата-сайентистов за неделю

Senior Data Scientist (classic ML), удалёнка

Senior Data Engineer, удалёнка

Quantitative Researcher —‍ от 5 000 до 10 000 $, офис (Армения, ОАЭ, Кипр)

Системный аналитик (Big Data), удалёнка

Аналитик GPT-моделей (Алиса) —‍ от 300 000 до 490 000 ₽, удалёнка

➡️ Еще больше топовых вакансий — в нашем канале Data jobs

Библиотека дата-сайентиста

⚡️ Narwhals: универсальные функции для любых DataFrame

С Narwhals можно писать функции, которые работают с разными библиотеками данных — pandas, polars, DuckDB, PySpark и даже PyArrow, без лишних зависимостей.

✅ Пример: группируем данные по месяцам и считаем среднюю цену

import narwhals as nw
from narwhals.typing import IntoFrameT

def agnostic_function(df_native: IntoFrameT, date_column: str, price_column: str) -> IntoFrameT:
    return (
        nw.from_native(df_native)
        .group_by(nw.col(date_column).dt.truncate("1mo"))
        .agg(nw.col(price_column).mean())
        .sort(date_column)
        .to_native()
    )

Работает и с pandas:

import pandas as pd
from datetime import datetime

data = {
    "date": [datetime(2020, 1, 1), datetime(2020, 1, 8), datetime(2020, 2, 3)],
    "price": [1, 4, 3],
}
print(agnostic_function(pd.DataFrame(data), "date", "price"))

И с Polars:

import polars as pl

print(agnostic_function(pl.DataFrame(data), "date", "price"))

👌 Подробные примеры можно посмотреть в статье: https://clc.to/RytBgA

Библиотека дата-сайентиста #буст

🎯 Команда дня: строгая типизация NumPy массивов

Обычно мы пишем так:

def f(x: np.ndarray): ...

🙅‍♂️ Но это не защищает от ошибок — форма и тип данных не проверяются.

✔️ Вместо этого — используем обобщённые типы:

from numpy import ndarray, dtype, uint8, bool_, float64

def process(
    x: ndarray[tuple[int], dtype[bool_]],
    y: ndarray[tuple[int, int, int], dtype[uint8]],
) -> ndarray[tuple[int], dtype[float64]]:
    ...

Теперь mypy и pyright ловят ошибки до запуска:
🙅‍♂️ неверная размерность,
🙅‍♂️ неподходящий dtype.

👉 Хотите проверку ещё и в рантайме?

✔️ Используйте static_frame:

import static_frame as sf

@sf.CallGuard.check
def f(x: ndarray[tuple[int], dtype[np.number]]): ...

При передаче неверного массива — будет чёткое сообщение об ошибке.

Полезно для:
— ML / data science
— научных расчётов
— оптимизации с NumPy и Numba

Примеры:
— ndarray[tuple[int], dtype[bool_]] — 1D массив булей
— ndarray[tuple[int, int], dtype[np.str_]] — 2D массив строк
— ndarray[tuple[int], dtype[np.number]] — массив любых чисел

Библиотека дата-сайентиста #буст